隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息，我们提出了几种图形重建攻击。我们表明，事后功能解释的其他知识大大提高了这些攻击的成功率。此外，我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异：基于梯度，基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多，但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释，隐私泄漏随着解释实用程序的增加而增加。最后，我们提出了基于随机响应机制的防御，以释放大大降低攻击成功率的解释。我们的匿名代码可用。
translated by 谷歌翻译
解释机器学习决策的问题是经过深入研究和重要的。我们对一种涉及称为图形神经网络的图形数据的特定类型的机器学习模型感兴趣。众所周知，由于缺乏公认的基准，评估图形神经网络（GNN）的可解释性方法是具有挑战性的。鉴于GNN模型，存在几种可解释性方法来解释具有多种（有时相互矛盾的）方法论的GNN模型。在本文中，我们提出了一个基准，用于评估称为Bagel的GNN的解释性方法。在百吉饼中，我们首先提出了四种不同的GNN解释评估制度 - 1）忠诚，2）稀疏性，3）正确性。 4）合理性。我们在现有文献中调和多个评估指标，并涵盖了各种概念以进行整体评估。我们的图数据集范围从引文网络，文档图，到分子和蛋白质的图。我们对四个GNN模型和九个有关节点和图形分类任务的事后解释方法进行了广泛的实证研究。我们打开基准和参考实现，并在https://github.com/mandeep-rathee/bagel-benchmark上提供它们。
translated by 谷歌翻译
This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.
translated by 谷歌翻译
2021-12-20
专家层（MOES）的混合物通过条件计算实现语言模型的高效缩放。本文提出了一个详细的实证研究，自回归鞋语言模型与广泛的设置中的密集模型相比：在域外语言建模，零和少量射击和全部微调。除了微调外，我们发现Moes基本上更加计算效率。在更适度的培训预算下，MOES可以使用$ \ SIM值4倍的计算，符合密集模型的性能。该差距在比例下变窄，但我们最大的MOE模型（1.1T参数）始终如一地优于计算等效的密集模型（6.7b参数）。总体而言，这种表现差距在任务和域中有很大差异，表明MOE和密集模型以不值得研究的方式概括不同的方式。我们使我们的代码和模型公开可用于研究使用。
translated by 谷歌翻译